Thiệu Dật Phu sinh tại phủ Ninh Ba, tỉnh Chiết Giang, Đại Thanh, sau chuyển đến Thượng Hải khi còn nhỏ.[7][8] Ông là con út trong số sáu người con trai của ông Thiệu Ngọc Hiên (1867–1920), thương nhân ngành dệt tại Thượng Hải và bà Wang Shun Xiang (1871 – 1939).[9][10]

Nguyên danh của ông là Thiệu Nhân Lăng (邵仁楞), sau đó đổi thành Thiệu Dật Phu (邵逸夫) do nghĩ rằng người dân thường Trung Quốc không biết đọc chữ 楞 (lăng).[11][12] Có một số lời giải thích tên tiếng Anh Run Run Shaw của ông,[6][7] song Thiệu Dật Phu nói rằng điều này chỉ đơn giản là chuyển tự Latinh nguyên danh Thiệu Nhân Lăng của ông theo cách phát âm trong tiếng Ninh Ba.[6][13][14]

Tuy nhiên, có một số điểm mập mờ xung quanh sinh nhật chính xác của ông. Ông tổ chức kỉ niệm sinh nhật lần thứ 100 của mình vào ngày 14 tháng 10 âm lịch, rơi vào ngày 23 tháng 11 năm 2007. Trong khi đó, nhiều nguồn ghi ngày 23 tháng 11 năm 1907 là sinh nhật của ông.[7] Tuy nhiên, ngày 14 tháng 10 âm lịch năm Đinh Mùi (1907) tương ứng với ngày 19 tháng 11 năm 1907 theo lịch Gregory, và theo China Daily thì đó là sinh nhật của ông.[15]

Ông tốt nghiệp trường trung học Anh văn Thanh niên hội Thượng Hải.[16]